b63d987ccdc814d30cde34c9f84dfefce43ce3da
mt5 mt5 zero-shot
- challenge
- Quiz Question Answering Challenge
- submitter
- Filip Graliński
- submitted
- 2021-10-25 11:37:45.006692 UTC
- file basename
- out
test-B / e95af8727e719c03d60646562b91f90f02e78976
| Metric | Score |
|---|---|
| Acc | 17.36 |
test-A / 203b9d90ec84b82013931cb917108e851a6e3d11
| Metric | Score |
|---|---|
| Acc | 17.92 |
worst items
note: the gold standard is taken from the submission itself, not from the challenge data!| # | input | expected output | actual output | test-B Acc |
|---|---|---|---|---|
| 1 | Czy poeta Lucjan Rydel tworzył także sztuki teatralne? | tak | Nie | 0.00 |
| 2 | W którym państwie została ogłoszona „Deklaracja praw człowieka i obywatela”? | we Francji | W USA | 0.00 |
| 3 | W którym mieście zmarł Sławomir Mrożek? | w Nicei | w Krakowie | 0.00 |
| 4 | Jak nazywał się autor powieści „Wierna rzeka”? | Stefan Żeromski | Andrzej Wajda | 0.00 |
| 5 | Na którym kontynencie leżała Kartagina? | w Afryce | Na południowym | 0.00 |
| 6 | Jak nazywał się reżyser pierwszego polskiego w filmu w 3D: „Bitwa Warszawska”? | Jerzy Hoffman | Andrzej Wajda | 0.00 |
| 7 | Które owady australijskie tworzą ogromne kopce, wysokie na 6 metrów? | termity | owady australijskie | 0.00 |
| 8 | W którym zespole ludowym w początkach kariery śpiewała Irena Santor? | Mazowsze | W zespole "Słoneczko" z Krakowa | 0.00 |
| 9 | W którym mieście znajduje się cmentarz na Rossie? | w Wilnie | w Moskwie | 0.00 |
| 10 | Co ma pod stopami Wenus na obrazie Botticellego pt. „Narodziny Wenus”? | muszlę | Jest to gwiazda | 0.00 |
| 11 | W co nie daje sobie dmuchać osoba stanowcza? | w kaszę | W swoje ciało | 0.00 |
| 12 | Jak miał na imię generał amerykański McArthur? | Douglas | Alfred McArthur | 0.00 |
| 13 | Jak nazywał się właściciel cukierni, w której w latach 1905-12 działała grupa Zielony Balonik? | Jan Apolinary Michalik | Andrzej Grzegorz | 0.00 |
| 14 | Czy Toruń należał do Księstwa Warszawskiego? | tak | Nie | 0.00 |
| 15 | Ilu synów miał patriarcha Jakub? | dwunastu 12 | około pięciu | 0.00 |
| 16 | Zwolnienie której robotnicy spowodowało strajk w Stoczni Gdańskiej? | Anny Walentynowicz | pracownika | 0.00 |
| 17 | Częścią którego oceanu jest Morze Czerwone? | Oceanu Indyjskiego | Morza Śródziemnego | 0.00 |
| 18 | Do którego warzywa odsyłamy coś, co się do niczego nie nadaje? | do chrzanu | Do pomidora | 0.00 |
| 19 | Jak z greki nazywa się chorobliwy strach przed ogniem? | pirofobia | - strach przed ogniem | 0.00 |
| 20 | W którym wieku ukazał się na łamach Kuriera Codziennego ostatni odcinek „Lalki”? | w XIX 19 | W wieku 10 lat | 0.00 |
| 21 | Jak nazywał się Michał Anioł? | Buonarotti | Michał Anioł | 0.00 |
| 22 | Jak ma na imię ciocia w piosence Agnieszki Osieckiej „Damą być”? | Jadzia | Monika | 0.00 |
| 23 | Nad którym morzem leżą Inflanty? | nad morzem Bałtyckim nad Bałtykiem | Nad Gibraltarem | 0.00 |
| 24 | W którym miesiącu 1968 roku miały miejsce w Polsce protesty studentów? | w marcu | Czerwiec | 0.00 |
| 25 | Jak w gwarze więziennej nazywa się nielegalnie przemycony list? | gryps | LIST | 0.00 |
| 26 | Do kogo Oleńka z Potopu zwraca się słowami: „ran Twoich niegodnam całować”? | do Kmicica | Do Oleńki | 0.00 |
| 27 | Jak po staropolsku zwał się okres od Bożego Narodzenia do Trzech Króli? | Gody | okres królewski | 0.00 |
| 28 | W którym mieście odbyła się premiera opery Giuseppe Verdiego „Aida”? | w Kairze | Warszawa | 0.00 |
| 29 | Jak nazywał się podróżnik i żołnierz, który dokonał podboju Madagaskaru? | Maurycy Beniowski | Alfred de Musset | 0.00 |
| 30 | Jakie warzywo jest jednym z głównych składników kopytek? | ziemniaki | pomidor | 0.00 |
| 31 | Dla kogo był przeznaczony obóz zwany oflag? | dla oficerów | Dla nauczycieli | 0.00 |
| 32 | Czy Watykan jest członkiem ONZ? | nie | Tak | 0.00 |
| 33 | W którym mieście w USA dzieje się akcja filmu „Kochaj albo rzuć”? | Chicago | w stanie Missouri | 0.00 |
| 34 | Która rzeka o długości ok. 300 km rozdziela USA i Meksyk? | Rio Grande | rzeka Potosi | 0.00 |
| 35 | W którym amerykańskim mieście podpisano Deklarację Niepodległości? | w Filadelfii | W San Francisco | 0.00 |
| 36 | Ile dzieci miał Moniuszko? | dziesięcioro 10 | około pięciu | 0.00 |
| 37 | Ile miesięcy zaczyna się na literę L? | trzy 3 | - miesięcy | 0.00 |
| 38 | Jaką nazwę pochodzącą z łacińskiego nosi drewniana okładzina ścian? | boazeria | okładzina drewniana | 0.00 |
| 39 | Leopard to czołg jakiej produkcji? | niemieckiej | Leoparda | 0.00 |
| 40 | Jak z angielskiego nazywa się bułka z ciepłą parówką? | hot-dog | Bread | 0.00 |
dev-0 / df7f1c04bb9c34c4ecad06a10b68fd0ddb31cebe
| Metric | Score |
|---|---|
| Acc | 16.60 |
worst items
note: the gold standard is taken from the submission itself, not from the challenge data!| # | input | expected output | actual output | test-B Acc |
|---|---|---|---|---|
| 1 | Jak nazywa się pierwsza litera alfabetu greckiego? | alfa | A | 0.00 |
| 2 | Jak nazywa się dowolny odcinek łączący dwa punkty okręgu? | cięciwa | Odcinek łączący | 0.00 |
| 3 | W którym państwie rozpoczyna się akcja powieści „W pustyni i w puszczy”? | w Egipcie | W Polsce | 0.00 |
| 4 | W jakim zespole występowała Hanka w filmie „Żona dla Australijczyka”? | Mazowsze | W zespole zespołu | 0.00 |
| 5 | Który numer boczny nosi czołg Rudy z „Czterech pancernych”? | 102 | - i - | 0.00 |
| 6 | Co budował w Egipcie inżynier Tarkowski, ojciec Stasia? | Kanał Sueski | Egipt | 0.00 |
| 7 | Kwartet – to ilu wykonawców? | czterech czworo 4 | około pięciu | 0.00 |
| 8 | Jak nazywa się pierwiastek o symbolu Bq? | becquerel | Butyrybiokarden | 0.00 |
| 9 | Hymnem którego kraju jest pieśń „Gwiaździsty sztandar”? | Stanów Zjednoczonych USA | Polski | 0.00 |
| 10 | Jak nazywał się sztywny kapelusz męski o zaokrąglonej główce i wąskim lekko uniesionym rondelku, modny w drugiej połowie XIX wieku? | melonik | Kapelusz o wąskim rondelku | 0.00 |
| 11 | Jak nazywa się wypukła albo wklęsła powierzchnia cieczy w pobliżu ścianek naczynia? | menisk | ciecz | 0.00 |
| 12 | Jak nazywał się fizyk, który w 1876 r. wynalazł telefon? | Aleksander Graham Bell | Alfred Nobel | 0.00 |
| 13 | Jak brzmi ulubione powiedzonko klucznika Horeszków Gerwazego? | mopanku | - Szukam | 0.00 |
| 14 | Którego gazu jest najwięcej w powietrzu? | azotu | tlenku węgla | 0.00 |
| 15 | Według przysłowia nos jest dla tabakiery czy tabakiera dla nosa? | tabakiera dla nosa | nos jest dla tabakiery | 0.00 |
| 16 | Kto jest autorem obrazu namalowanego w 1892 r. „Kobiety z Tahiti”? | Paul Gauguin | Leonardo da Vinci | 0.00 |
| 17 | Jak ma na imię brat Fidela Castro, który przejął po nim władzę? | Raul | Fidel Castro | 0.00 |
| 18 | Co znaczy pochodzące z francuskiego słowo aliant? | sojusznik | łączy | 0.00 |
| 19 | Jak nazywa się wzgórze w Paryżu na którym wybudowano bazylikę Sacré-Cœur? | Montmartre | Mont Blanc | 0.00 |
| 20 | Jak z greckiego nazywa się założenie wymagające sprawdzenia? | hipoteza | założenie wymagające sprawdzenia | 0.00 |
| 21 | Co znaczą słowa „Quo vadis”? | dokąd idziesz | Wszystko jest możliwe | 0.00 |
| 22 | Który szesnastowieczny legendarny czarnoksiężnik zwany był polskim Faustem? | Pan Twardowski | Faust | 0.00 |
| 23 | Jak nazywa się trucizna przyrządzona z korzenia szaleju? | cykuta | szał | 0.00 |
| 24 | Jak nazywa się stolica Kuby? | Hawana | Kuba | 0.00 |
| 25 | Jak nazywa się agent brytyjskiego wywiadu, bohater powieści Iana Fleminga? | James Bond | Alfred Porter | 0.00 |
| 26 | W jakim stylu wykonany został nagrobek Kazimierza Jagiellończyka? | gotyckim | W stylu angielskim | 0.00 |
| 27 | W którym mieście zginęła w wypadku samochodowym księżna Diana? | w Paryżu | W Gdańsku | 0.00 |
| 28 | Kto grał postać Maliniaka w „Czterdziestolatku”? | Roman Kłosowski | Andrzej Wajda | 0.00 |
| 29 | Na którym kontynencie występuje ryś iberyjski? | w Europie | Na południowym | 0.00 |
| 30 | Kto gra Kingę Zduńską w serialu „M jak miłość”? | Katarzyna Cichopek | Natalia | 0.00 |
| 31 | W których górach leżą wrota Chałubińskiego? | w Tatrach | W górze Kościelna | 0.00 |
| 32 | Które wrota znajdują się w tytule filmu Romana Polańskiego? | dziewiąte | wrota | 0.00 |
| 33 | Na której japońskiej wyspie znajduje się port Yokohama? | na Honsiu | Na wyspie Honshu | 0.00 |
| 34 | Proszę rozwinąć skrót powstałego w 1918 roku urzędu GUS. | Główny Urząd Statystyczny | GUS | 0.00 |
| 35 | Jak nazywa się przyrząd do palenia i górny kieł dzika? | fajka | - ołówek | 0.00 |
| 36 | W którym filmie Krzysztofa Kieślowskiego zagrali Olaf Lubaszenko i Grażyna Szapołowska? | „Krótki film o miłości” | W Ostatnim człowieku | 0.00 |
| 37 | Dokończ przysłowie: „dobry zwyczaj: nie...”? | pożyczaj | nie | 0.00 |
| 38 | Ile trzeba zjeść z kimś soli, żeby dobrze go poznać? | beczkę | około 10 razy | 0.00 |
| 39 | Które polskie miasto nie od razu zbudowano? | Kraków | Warszawa | 0.00 |
| 40 | Gdzie miały miejsce objawienia z 1917 roku? | w Fatimie | w Warszawie | 0.00 |